Text classification is a natural language processing (NLP) task relevant to many commercial applications, like e-commerce and customer service. Naturally, classifying such excerpts accurately often represents a challenge, due to intrinsic language aspects, like irony and nuance. To accomplish this task, one must provide a robust numerical representation for documents, a process known as embedding. Embedding represents a key NLP field nowadays, having faced a significant advance in the last decade, especially after the introduction of the word-to-vector concept and the popularization of Deep Learning models for solving NLP tasks, including Convolutional Neural Networks (CNNs), Recurrent Neural Networks (RNNs), and Transformer-based Language Models (TLMs). Despite the impressive achievements in this field, the literature coverage regarding generating embeddings for Brazilian Portuguese texts is scarce, especially when considering commercial user reviews. Therefore, this work aims to provide a comprehensive experimental study of embedding approaches targeting a binary sentiment classification of user reviews in Brazilian Portuguese. This study includes from classical (Bag-of-Words) to state-of-the-art (Transformer-based) NLP models. The methods are evaluated with five open-source databases with pre-defined data partitions made available in an open digital repository to encourage reproducibility. The Fine-tuned TLMs achieved the best results for all cases, being followed by the Feature-based TLM, LSTM, and CNN, with alternate ranks, depending on the database under analysis.
translated by 谷歌翻译
通过通过可以捕获复杂的文本模式的大型语言模型来转移学习,BERT通过能够捕获复杂的文本模式,达到最先进的NLP应用程序来彻底改变了NLP字段。对于文本分类任务,BERT已被广泛探索。然而,在文献中,如何更好地应对如何更好地应对伯特输出层提供的不同嵌入物以及特定于语言的使用,而不是在文献中进行了很好的研究,特别是对于巴西葡萄牙语。本文的目的是进行广泛的实验研究,有关聚集在伯特输出层中产生的特征的不同策略的实验研究,重点是情感分析任务。该实验包括培训的BERT模型,培训了巴西葡萄牙语集团和多语言版本,考虑了具有预定义的培训,验证和测试分区的多种聚合策略和开源数据集,以便于效果的再现性。与TF-IDF相比,BERT达到了大多数情况下的最高ROC-AUC值。尽管如此,TF-IDF代表了预测性能和计算成本之间的良好权衡。
translated by 谷歌翻译
情感分析是最古典的,主要研究的自然语言处理任务之一。这个问题有一个值得注意的提前,主张更复杂和可扩展的机器学习模型。尽管存在这一进展,但巴西葡萄牙语仍然只处理了有限的语言资源,例如专用于情绪分类的数据集,特别是在考虑培训,测试和验证集中的预定义分区时,这将允许更公平地比较不同算法备择方案。这些问题的动机,这项工作分析了一系列文档嵌入策略的预测性能,假设极性作为系统结果。此分析包括在巴西葡萄牙语中的五种情感分析数据集,在单个数据集中统一,以及培训,测试和验证集中的引用分区,两者都通过数字存储库公开可用。进行不同上下文的数据集特定模型的交叉评估,以评估其泛化能力和采用唯一模型来解决所有方案的可行性。
translated by 谷歌翻译
预测住宅功率使用对于辅助智能电网来管理和保护能量以确保有效使用的必不可少。客户级别的准确能量预测将直接反映电网系统的效率,但由于许多影响因素,例如气象和占用模式,预测建筑能源使用是复杂的任务。在成瘾中,鉴于多传感器环境的出现以及能量消费者和智能电网之间的两种方式通信,在能量互联网(IOE)中,高维时间序列越来越多地出现。因此,能够计算高维时间序列的方法在智能建筑和IOE应用中具有很大的价值。模糊时间序列(FTS)模型作为数据驱动的非参数模型的易于实现和高精度。不幸的是,如果所有功能用于训练模型,现有的FTS模型可能是不可行的。我们通过将原始高维数据投入低维嵌入空间并在该低维表示中使用多变量FTS方法来提出一种用于处理高维时间序列的新方法。组合这些技术使得能够更好地表示多变量时间序列的复杂内容和更准确的预测。
translated by 谷歌翻译
State-of-the-art brain tumor segmentation is based on deep learning models applied to multi-modal MRIs. Currently, these models are trained on images after a preprocessing stage that involves registration, interpolation, brain extraction (BE, also known as skull-stripping) and manual correction by an expert. However, for clinical practice, this last step is tedious and time-consuming and, therefore, not always feasible, resulting in skull-stripping faults that can negatively impact the tumor segmentation quality. Still, the extent of this impact has never been measured for any of the many different BE methods available. In this work, we propose an automatic brain tumor segmentation pipeline and evaluate its performance with multiple BE methods. Our experiments show that the choice of a BE method can compromise up to 15.7% of the tumor segmentation performance. Moreover, we propose training and testing tumor segmentation models on non-skull-stripped images, effectively discarding the BE step from the pipeline. Our results show that this approach leads to a competitive performance at a fraction of the time. We conclude that, in contrast to the current paradigm, training tumor segmentation models on non-skull-stripped images can be the best option when high performance in clinical practice is desired.
translated by 谷歌翻译
在多语言甚至单语言中鉴定的模型的零拍跨语言能力刺激了许多假设,以解释这一有趣的经验结果。但是,由于预处理的成本,大多数研究都使用公共模型的公共模型,其预处理方法(例如代币化,语料库规模和计算预算的选择)可能会大不相同。当研究人员对自己的模型预识时,他们通常会在预算有限的情况下这样做,并且与SOTA模型相比,最终的模型的表现可能明显不足。这些实验差异导致有关这些模型跨语性能力的性质的各种不一致的结论。为了帮助对该主题进行进一步研究,我们发布了10个单语字节级模型,并在相同的配置下进行了严格审慎的概述,并具有大型计算预算(相当于V100的420天)和Corpora,比原始BERT大4倍。由于它们不含令牌,因此消除了看不见的令牌嵌入的问题,从而使研究人员可以在具有不同脚本的语言中尝试更广泛的跨语言实验。此外,我们释放了在不自然语言文本上预测的两个模型,这些模型可用于理智检查实验。关于质量检查和NLI任务的实验表明,我们的单语模型实现了多语言的竞争性能,因此可以加强我们对语言模型中跨语性可传递性的理解。
translated by 谷歌翻译
我们介绍了IST和Unmabel对WMT 2022关于质量估计(QE)的共享任务的共同贡献。我们的团队参与了所有三个子任务:(i)句子和单词级质量预测;(ii)可解释的量化宽松;(iii)关键错误检测。对于所有任务,我们在彗星框架之上构建,将其与OpenKIWI的预测估计架构连接,并为其配备单词级序列标记器和解释提取器。我们的结果表明,在预处理过程中合并参考可以改善下游任务上多种语言对的性能,并且通过句子和单词级别的目标共同培训可以进一步提高。此外,将注意力和梯度信息结合在一起被证明是提取句子级量化量化宽松模型的良好解释的首要策略。总体而言,我们的意见书在几乎所有语言对的所有三个任务中都取得了最佳的结果。
translated by 谷歌翻译
深度学习(DL)技术被回归问题所接受。最近在该领域发表的论文数量越来越多,包括调查和评论,表明,由于效率和具有高维数据的系统的良好精度,深层回归引起了社区的关注。但是,许多DL方法具有复杂的结构,这些结构对人类用户不易透明。访问这些模型的可解释性是解决敏感领域问题(例如网络安全系统,医疗,金融监视和工业过程)的重要因素。模糊逻辑系统(FLS)是可解释的模型,在文献中众所周知,能够通过具有成员资格学位的语言术语对复杂系统使用非线性表示,模仿了人类的思想。在可解释的人工智能的气氛中,有必要考虑开发智能模型的准确性和可解释性之间的权衡。本文旨在调查结合DL和FL的现有方法的最新方法,即深度模糊系统,以解决回归问题,配置当前在文献中尚不充分探索的主题,因此应进行全面调查。
translated by 谷歌翻译
最近,由于许多用例的性能要求严格的性能要求,基于意图的管理正在受到电信网络的良好关注。文献上的几种方法采用电信域中的传统方法来满足KPI的意图,可以将其定义为封闭环。但是,这些方法考虑了每个闭环相互独立的环路,从而降低了组合的闭环性能。同样,当需要许多闭环时,这些方法不容易扩展。在许多领域,多机构增强学习(MARL)技术在许多领域都表现出了巨大的希望,在许多领域中,传统的闭环控制效果不足,通常用于循环之间的复杂协调和冲突管理。在这项工作中,我们提出了一种基于MARL的方法,以实现基于意图的管理,而无需基础系统模型。此外,当存在相互矛盾的意图时,MARL代理可以通过优先考虑重要的KPI来暗中激励循环,而无需人工互动。已经在网络模拟器上进行了实验,以优化三种服务的KPI,我们观察到拟议的系统的性能良好,并且在资源不足或资源稀缺时能够实现所有现有的意图。
translated by 谷歌翻译
这封信提出了一个系统的模块化过程,用于组成几个子系统的分支机器人的动态建模,每个系统由多个刚体组成。此外,即使某些子系统被视为黑匣子,提出的策略也适用,仅需要在不同子系统之间的连接点上的曲折和扳手。为了帮助模型组成,我们还提出了一个图表表示,该图表编码子系统之间的曲折和扳手的传播。数值结果表明,所提出的形式主义与用于机器人动力学建模的最新库一样准确。
translated by 谷歌翻译